Negative Log-Likelihood

定义 Definition

负对数似然（Negative Log-Likelihood, NLL）：把“似然（likelihood）”取对数后再取负号得到的量，常用作统计建模与机器学习中的损失函数。在很多模型里，最小化 NLL 等价于最大化似然（Maximum Likelihood）。

发音 Pronunciation (IPA)

/ˈnɛɡətɪv ˌlɔːɡ lɪkliˈhʊd/

例句 Examples

We minimized the negative log-likelihood to fit the model.
我们通过最小化负对数似然来拟合模型。

In logistic regression, the negative log-likelihood corresponds to the cross-entropy loss used in classification.
在逻辑回归中，负对数似然对应于分类任务中常用的交叉熵损失。

词源 Etymology

该短语由三部分构成：negative（负的）+ log（对数）+ likelihood（似然）。在统计学里，似然用于衡量“在给定参数下观测数据出现得有多合理”；为了便于计算与推导，常把连乘的概率写成对数形式（把乘法变加法），再加一个负号，使其成为可直接“最小化”的目标函数，于是形成了 negative log-likelihood 这一常用术语。

相关词 Related Words

• Likelihood
• Log-Likelihood
• Maximum Likelihood
• Loss
• Cross-Entropy
• Entropy
• Optimization
• Gradient Descent

文学与著作中的用例 Literary Works

• Pattern Recognition and Machine Learning（Christopher M. Bishop）
• The Elements of Statistical Learning（Hastie, Tibshirani, Friedman）
• Machine Learning: A Probabilistic Perspective（Kevin P. Murphy）
• Deep Learning（Goodfellow, Bengio, Courville）